C’est le 22 août 1807 que Chateaubriand et son épouse Céleste acquièrent leur propriété située près du hameau d'Aulnay. Ayant publié dans le Mercure de France du 4 juillet 1807 un article hostile au régime napoléonien, l’auteur a en effet été contraint de s’éloigner de Paris. Il achète donc cette modeste chaumière, « maison de jardinier, cachée parmi des collines couvertes de bois. Le terrain inégal et sablonneux dépendant de cette maison n’était qu’un verger sauvage au bout duquel se trouvait une ravine et un taillis de châtaigniers. Cet étroit espace me parut propre à renfermer mes longues espérances… » (Mémoires d’outre-tombe). Il enrichit la maison d’un portique soutenu par deux cariatides de marbre blanc et, au rez-de-chaussée, d’un escalier à double branche qui pourrait provenir d’un brick anglais. L’auteur passera là dix années, entre nature et écriture. Il agrémente en effet le parc d’arbres lui rappelant sa Bretagne

natale et ses voyages à travers le monde : cèdre du Liban, cyprès chauve de Louisiane, marronnier d’Inde... Dans la Tour Velléda, il écrit les Martyrs (1809), l’Itinéraire de Paris à Jérusalem (1811), les Aventures du dernier Abencérage (1826), et surtout commence l’une de ses œuvres majeures dont la rédaction durera plus de trente ans, les Mémoires d’outre-tombe.